Aux États-Unis, le danger des arrestations sur la seule foi d’un résultat algorithmiqueMirror B – Comuzi – Better Images of AI

Aux États-Unis, le danger des arrestations sur la seule foi d’un résultat algorithmique

Aux États-Unis, le danger des arrestations sur la seule foi d’un résultat algorithmiqueMirror B – Comuzi – Better Images of AI

Cet automne, un homme nommé Randal Quran Reid a été arrêté pour deux fraudes à la carte bancaire qu’il n’avait pas commise. Le mandat n’indiquait pas qu’il était devenu suspect sur la foi d’une recherche par reconnaissance faciale, via le contrat de la police de Louisiane avec Clearview AI.

Reid ne l’a compris qu’une fois six jours passés en prison, et des milliers de dollars dépensés en frais d’avocat : c’est l’avocat en question qui a entendu un officier évoquer une « correspondance positive » avec le voleur, et compris l’erreur d’identification.

En 2019, une étude du National Institute of Standards and Technology, une agence fédérale américaine, constatait que les systèmes de reconnaissance faciale faisaient des erreurs d'identification des visages noirs et asiatiques 10 à 100 fois plus souvent qu’avec les visages caucasiens. Les femmes et les personnes âgées étaient aussi moins bien reconnues que la moyenne.

Les promoteurs de ces technologies notent que, parmi les millions de recherches effectuées par la police, très peu ont conduit à des arrestations injustifiées (à l’heure actuelle, au moins six cas sont documentés : cinq ont concerné des hommes noirs, un, une femme noire). Mais, interroge le New Yorker. combien l’ont été sans que l’erreur ait été identifiée ?

Dans les affaires en question, pointe le média dans une longue enquête, les forces de police américaines ne se sont souvent reposées que sur les résultats de ces machines algorithmiques, quand bien même les preuves de leur efficacité manquent.

Pourtant, les officiers expliquent en général ne pas avoir à informer les personnes suspectes qu’elles le sont devenues sur la foi d’une identification automatique. Motif : ces identifications ne sont théoriquement que des pistes qui doivent mener à des enquêtes plus longues.

L’un des problèmes que posent ces technologies, explique l’avocate Clare Garvie, est qu’elles sont entourées d’« une sorte de mystère ». Pour ses usagers, par exemple policiers, difficile de savoir « comment elle fonctionne », mais « on sait que des gens beaucoup plus intelligents que nous l’ont créés ».

Cette vision participe à renforcer la confiance dans les résultats fournis par la machine, au risque, dans le cadre policier, de passer outre des vérifications plus approfondies.

Commentaires (17)


L’un des problèmes que posent ces technologies, explique l’avocate Clare Garvie, est qu’elles sont entourées d’« une sorte de mystère ». Pour ses usagers, par exemple policiers, difficile de savoir « comment elle fonctionne », mais « on sait que des gens beaucoup plus intelligents que nous l’ont créés ».



J'ai connu plus convaincant comme excuse pour justifier de sa stupidité.
Oh. Ctrl Maj R est un raccourci pour répondre à un commentaire tiens. Comme c'est la mode des tests suite à la MeP, j'en profite

Je ne voulais pas te répondre spécialement cela dit, juste recharger ma page sans cache ^^'

Edit : Ctrl Entrée pour valider le commentaire ne semble pas fonctionner cela dit
Modifié le 23/11/2023 à 08h54

ElCroco

Oh. Ctrl Maj R est un raccourci pour répondre à un commentaire tiens. Comme c'est la mode des tests suite à la MeP, j'en profite

Je ne voulais pas te répondre spécialement cela dit, juste recharger ma page sans cache ^^'

Edit : Ctrl Entrée pour valider le commentaire ne semble pas fonctionner cela dit
Ah oui ça fonctionne !
Après, il manque les notifications après réponse à un commentaire. 😥

dylem29

Ah oui ça fonctionne !
Après, il manque les notifications après réponse à un commentaire. 😥
il manque aussi le pluzin sur un commentaire quand on est d'accord, ce qui est mon cas ici.
Mais pour le coup, c'est pas une régression, c'est une amélioration, ça peut attendre un peu plus :D

dylem29

Ah oui ça fonctionne !
Après, il manque les notifications après réponse à un commentaire. 😥
Ah bah ça a plus l'air de marcher chez moi ^^'
Même avec des articles à 0 ou 1 commentaire, ça recharge la page. Peut être que l'équipe de dev a vu ça et c'est dit que ça ne servait pas réellement

Je te rejoins sur les notifs, ça me semble pas déconnant.
Je sais qu'il y a le GH pour les issues, mais ça serait top d'avoir la liste des features validées et mises dans le pipe par l'équipe de dev

Edit : pouvoir discuter facilement (via les comments ou les issues GH) est un vrai plus pour la communauté, c'est top :)
Modifié le 24/11/2023 à 00h39
"Cette vision participe à renforcer la confiance dans les résultats fournis par la machine, au risque, dans le cadre policier, de passer outre des vérifications plus approfondies. "

Ben surtout que ces "vérifications plus approfondies" , lorsque que ce ne sont "que" des noirs (et on sait "qu'ils se ressemblent tous, hein") , et devant la pression du chiffre , ben.... ça pèse pas lourd.

Et ça ajoute un déni plausible pour la police : "Mais la Machine l'a désigné coupable, nous on est moins intelligent qu'elle , on peux quand même pas s'y opposer ?" .
Et ce même si la "machine" a donné une correspondance à xx% ...

Parfois l'informatique sert aussi d'excuse à l'inaction & l'indifférence (et pas que dans le cas de l'article)
Parfois ?
C'est le coupable tout trouvé depuis 2 décennies.
En l’occurrence ce n'est pas l'outil le problème, c'est le fait que la police ne fait pas son travail pour confirmer ou pas le résultat fourni.
Avant les outils de reconnaissance faciale, les arrestations pouvaient se faire sur une vague ressemblance ou au hasard pour faire du chiffre

Le problème reste donc le même: ici seul l'outil change.
C'est un peu l'outil dans le sens où il est n'est pas assez efficace sur ceux qui ne sont pas des hommes caucasiens (principalement à cause d'un soucis de données d'entrainement je suppose).

Mais oui, 6 jours en prison pour 2 fraudes à la carte bancaire avant le jugement ça me semble déjà dingue.

Du coup, j'ai cherché un peu, et il y un article qui donne plus de détails (et c'est dingue)

La fraude c'est pour l'équivalent de 15 000$
Il a passé 6 jours en prison par ce qu'il devait être extradé vers la Louisiane (état duquel venait les mandats, et un état où Randal n'a jamais été)
L'algorithme a donné 3 noms suite à la recherche, le policier aurait émis un mandat pour les 3 noms.
Le policier qui a fait l'arrestation en Géorgie ne savait pas pourquoi les mandats étaient émis (il savait juste qu'ils existaient).

Et la meilleure, pour obtenir sa libération ses avocats ont "juste" envoyés de multiples photos de Randal au service de police qui a émis le mandat ...
J'aimerai bien voir une comparaison entre le suspect et Randal ...

misocard

C'est un peu l'outil dans le sens où il est n'est pas assez efficace sur ceux qui ne sont pas des hommes caucasiens (principalement à cause d'un soucis de données d'entrainement je suppose).

Mais oui, 6 jours en prison pour 2 fraudes à la carte bancaire avant le jugement ça me semble déjà dingue.

Du coup, j'ai cherché un peu, et il y un article qui donne plus de détails (et c'est dingue)

La fraude c'est pour l'équivalent de 15 000$
Il a passé 6 jours en prison par ce qu'il devait être extradé vers la Louisiane (état duquel venait les mandats, et un état où Randal n'a jamais été)
L'algorithme a donné 3 noms suite à la recherche, le policier aurait émis un mandat pour les 3 noms.
Le policier qui a fait l'arrestation en Géorgie ne savait pas pourquoi les mandats étaient émis (il savait juste qu'ils existaient).

Et la meilleure, pour obtenir sa libération ses avocats ont "juste" envoyés de multiples photos de Randal au service de police qui a émis le mandat ...
J'aimerai bien voir une comparaison entre le suspect et Randal ...
C'est un peu l'outil dans le sens où il est n'est pas assez efficace sur ceux qui ne sont pas des hommes caucasiens (principalement à cause d'un soucis de données d'entrainement je suppose).



L'outil peut ne pas être efficace, il n'empêche que cela rappelle de l'importance du contrôle humain. Se reposer uniquement sur une décision algorithmique est un non sens, en particulier pour une affaire de police.

Ici, cet aspect a été négligé. Pour mon marteau, toute cible est un clou. Que ce soit un clou, une vis, ou un crâne humain. Je ne peux me dédouaner d'avoir fracassé la tronche de mon voisin parce que j'ai eu confiance dans le discernement de l'outil.

(exemple volontairement caricatural, mais l'idée est là)

SebGF

C'est un peu l'outil dans le sens où il est n'est pas assez efficace sur ceux qui ne sont pas des hommes caucasiens (principalement à cause d'un soucis de données d'entrainement je suppose).



L'outil peut ne pas être efficace, il n'empêche que cela rappelle de l'importance du contrôle humain. Se reposer uniquement sur une décision algorithmique est un non sens, en particulier pour une affaire de police.

Ici, cet aspect a été négligé. Pour mon marteau, toute cible est un clou. Que ce soit un clou, une vis, ou un crâne humain. Je ne peux me dédouaner d'avoir fracassé la tronche de mon voisin parce que j'ai eu confiance dans le discernement de l'outil.

(exemple volontairement caricatural, mais l'idée est là)
Je suis d'accord, c'est pour ça que j'ai ajouté les autres problèmes. On ne peut pas nier que le soucis de ce genre de logiciel avec "10 à 100 fois plus" d'erreur si on ne ressemble pas à ceux qui ont conçu et testé le logiciel.

Surtout quand on sait que les noirs sont arrêtés plus souvent aux USA
Dans l'ensemble, les Noirs américains sont arrêtés à 2,6 fois le taux par habitant de tous les autres Américains

Clairement que le policier qui a sorti 3 mandats par ce qu'il a eu 3 résultats est un idiot et il aurait été possible d'améliorer les choses (tout en restant imparfait) en demandant à la police responsable de l'arrestation de vérifier si le suspect correspondait bien à la photo d'origine.

Pour l'analogie du marteau je ne suis pas convaincu que ça fonctionne dans ce contexte. L'utilisation de la reconnaissance faciale était justifiée, l'interprétation du résultat beaucoup moins.
A la limite ... il avait un clou, il a utilisé une masse pour l'enfoncer et il s'étonne que le mur soit démoli.
Modifié le 23/11/2023 à 15h10

misocard

Je suis d'accord, c'est pour ça que j'ai ajouté les autres problèmes. On ne peut pas nier que le soucis de ce genre de logiciel avec "10 à 100 fois plus" d'erreur si on ne ressemble pas à ceux qui ont conçu et testé le logiciel.

Surtout quand on sait que les noirs sont arrêtés plus souvent aux USA
Dans l'ensemble, les Noirs américains sont arrêtés à 2,6 fois le taux par habitant de tous les autres Américains

Clairement que le policier qui a sorti 3 mandats par ce qu'il a eu 3 résultats est un idiot et il aurait été possible d'améliorer les choses (tout en restant imparfait) en demandant à la police responsable de l'arrestation de vérifier si le suspect correspondait bien à la photo d'origine.

Pour l'analogie du marteau je ne suis pas convaincu que ça fonctionne dans ce contexte. L'utilisation de la reconnaissance faciale était justifiée, l'interprétation du résultat beaucoup moins.
A la limite ... il avait un clou, il a utilisé une masse pour l'enfoncer et il s'étonne que le mur soit démoli.
Il y a aussi un problème de formation.

Le flic qui a émit 3 mandat, il sait bien que au moins 2 sont des faux positifs , donc que potentiellement 2 innocents vont passer 6 jours en taule et devoir dépenser des frais d'avocats pour se "défendre".
Il en a juste rien à foutre. parce que ce sont "juste" des noirs et parce que, lui, ça lui simplifie la vie (et justifie une action auprès de sa hiérarchie).
Il ne sera pas sanctionné pour ça.

Si il avait émis ce mandat et que, pas de bol, l'une des cible avait été quelqu'un de haut placé avec de l'influence, il se serait fait défoncer professionnellement parlant.

Pour moi le problème dans cette histoire c'est surtout ça : Quand tu sais que tu ne risques rien à pourrir la vie de gens que tu méprises, bah.... pourquoi te priver ? C'est généralisable chez nous aussi :-/
Où est Tom Cruise ?
L'IA ne fait qu'amplifier les biais raciaux dans un pays où il vaut mieux être blanc et s'appeler John Smith que noir et s'appeler Mohammed.
L'excuse facile et pratique...

Ensuite, on va automatiser l'arrestation des personnes, et la surveillance automatique en prison, puis l'automatisation du travail forcé qui s'en suit... Oh wait
Ca c'est "Brazil" (1985). Je ne peux pas m'empêcher d'y penser.

La référence pour les plus jeune:
https://www.imdb.com/title/tt0088846/?ref_=nv_sr_srsg_0_tt_8_nm_0_q_brazil

En France, la distance d'utilisation du LBD a été réduite de 10 mètres auparavant à 3 mètres dorénavant. Cela alors que cette arme mutile depuis quelques années du fait d'une utilisation inappropriée.

Les autorités publiques confient des outils aux forces de police. Les forces de police les utilisent.
Modifié le 23/11/2023 à 15h00
Fermer